scrapy提供了两种中间件，下载中间件（Downloader Middleware）和Spider中间件（Spider Middleware）
Spider中间件
Spider中间件与下载中间件类似，只不过Spider中间件处理的是即将发往Spider处理的Response对象，以及从Spider返回的Response对象或Item对象。
如何激活Spider中间件：
在配置文件settings.py中的SPIDER_MIDDLEWARES中配置键值对，键为要打开的Spider中间件，值为数字，Spider中间件按照数字排列，即数字越低，越靠近处理引擎，数字越高，越靠近spider。
scrapy还有一个内部自带的Spider中间件配置SPIDER_MIDDLEWARES_BASE（不可覆盖）。scrapy在启用是会结合SPIDER_MIDDLEWARES和SPIDER_MIDDLEWARES_BASE，若要取消scrapy默认打开的Spider中间件，可在SPIDER_MIDDLEWARES将该中间件的值置为0。
SPIDER_MIDDLEWARES_BASE =
{
'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware': 50,
'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': 500,
'scrapy.spidermiddlewares.referer.RefererMiddleware': 700,
'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware': 800,
'scrapy.spidermiddlewares.depth.DepthMiddleware': 900,
}
如何编写一个Spider中间件
class scrapy.spidermiddlewares.SpiderMiddleware
process_spider_input(response, spider)
当每个Response经过中间件时会被调用，优先级越高（值越小）的中间件，越先调用；该方法应该返回以下对象：None/抛出异常；
- 返回
None：scrapy会继续执行其他中间件相应的方法，最终会传递给spider； - 抛出异常：
Request.errback会被调用来处理函数，如果还是继续抛出异常，则会调用process_spider_exception()，否则会以另一个方向调用process_spider_output()。
process_spider_output(response, result, spider)
当每个Spider的返回经过Spider中间件会被调用，优先级越高的中间件，越晚被调用，与process_spider_input()相反；该方法返回以下对象：Request对象的可迭代对象/Item对象的可迭代对象/dcit。
process_spider_exception(response, exception, spider)
当process_spider_input()抛出异常时会被调用，应该返回以下对象：Request对象的可迭代对象/Item对象的可迭代对象/dcit；
- 如果返回
None：scrapy会继续调用接下去其他中间件的process_spider_exception()，直到没有其他中间件，最终到达引擎（被日志记录并抛弃）； - 如果返回可迭代对象：中间件链的
process_spider_output()开始启动，不会继续调用其他中间件的process_spider_exception()；
process_start_requests(start_requests, spider)
当spider.start_requests()被调用时启动，和process_spider_output()类似，接受Request对象的可迭代器，并且必须放回Request对象的可迭代。
from_crawler(cls, crawler)
如果存在该函数，from_crawler会被调用使用crawler来创建中间器对象，必须返回一个中间器对象，通过这种方式，可以访问到crawler的所有核心部件，如settings、signals等。
scray提供的一些Spider中间件
下面看下一些Spider中间件的源码，更多的Spider中间件请查看文档和代码
HttpErrorMiddleware
HTTP异常状态码处理中间件
#httpproxy.py
"""
HttpError Spider Middleware
See documentation in docs/topics/spider-middleware.rst
"""
import logging
from scrapy.exceptions import IgnoreRequest
logger = logging.getLogger(__name__)
class HttpError(IgnoreRequest):
"""A non-200 response was filtered"""
def __init__(self, response, *args, **kwargs):
self.response = response
super(HttpError, self).__init__(*args, **kwargs)
class HttpErrorMiddleware(object):
@classmethod
def from_crawler(cls, crawler):
return cls(crawler.settings)
def __init__(self, settings):
self.handle_httpstatus_all = settings.getbool('HTTPERROR_ALLOW_ALL') #设置为True表示忽略状态码，由Spider处理所有响应码
self.handle_httpstatus_list = settings.getlist('HTTPERROR_ALLOWED_CODES') #可通过的非200状态码列表
def process_spider_input(self, response, spider):
"""
response表示响应包
"""
if 200 <= response.status < 300: # common case 200段返回码，表示正常
return
meta = response.meta
# meta传递了handle_httpstatus_all用来表示当前请求均由Spider自己处理
if 'handle_httpstatus_all' in meta:
return
#meta传递了需要自己处理的非200状态码列表
if 'handle_httpstatus_list' in meta:
allowed_statuses = meta['handle_httpstatus_list']
elif self.handle_httpstatus_all:
return
else:
#当前状态满足条件，返回
allowed_statuses = getattr(spider, 'handle_httpstatus_list', self.handle_httpstatus_list)
if response.status in allowed_statuses:
return
# 抛出由scrapy处理
raise HttpError(response, 'Ignoring non-200 response')
def process_spider_exception(self, response, exception, spider):
#只处理HttpError的异常
if isinstance(exception, HttpError):
spider.crawler.stats.inc_value('httperror/response_ignored_count')
spider.crawler.stats.inc_value(
'httperror/response_ignored_status_count/%s' % response.status
)
logger.info(
"Ignoring response %(response)r: HTTP status code is not handled or not allowed",
{'response': response}, extra={'spider': spider},
)
return []
UrlLengthMiddleware
URL长度限制中间件
#urllength.py
"""
Url Length Spider Middleware
See documentation in docs/topics/spider-middleware.rst
"""
import logging
from scrapy.http import Request
from scrapy.exceptions import NotConfigured
logger = logging.getLogger(__name__)
class UrlLengthMiddleware(object):
def __init__(self, maxlength):
self.maxlength = maxlength
@classmethod
def from_settings(cls, settings):
maxlength = settings.getint('URLLENGTH_LIMIT') #URL最大长度
if not maxlength:
raise NotConfigured
return cls(maxlength)
def process_spider_output(self, response, result, spider):
"""
result: dict/Request对象的可迭代/Item对象的可迭代器
"""
def _filter(request):
if isinstance(request, Request) and len(request.url) > self.maxlength:
logger.debug("Ignoring link (url length > %(maxlength)d): %(url)s ",
{'maxlength': self.maxlength, 'url': request.url},
extra={'spider': spider})
return False
else:
return True
return (r for r in result or () if _filter(r))
总结
Spider中间件用的机会不是很多，本篇只是大致的讲了一下，如果后面有实际使用机会会重新补充。总的来说，下载中间件聚焦于下载前后，Spider中间件聚焦于Spider前后，两者略有重合的地方。
